Machine Learning LSTM এবং RNN দিয়ে Forecasting গাইড ও নোট

Long Short-Term Memory (LSTM) এবং Recurrent Neural Networks (RNNs) হল এমন দুটি ধরনের নিউরাল নেটওয়ার্ক আর্কিটেকচার যা টাইম সিরিজ ডেটা বা সিকোয়েন্সিয়াল ডেটার উপর কাজ করতে সক্ষম। Forecasting, বিশেষত টাইম সিরিজ ফরকাস্টিং, হল ভবিষ্যতের কোন একটি ইভেন্টের বা মানের পূর্বাভাস প্রদান করা, যেমন ভবিষ্যতে শেয়ারের দাম, আবহাওয়া, বা বিক্রয় পরিসংখ্যান।

RNN এবং LSTM টাইম সিরিজ ডেটাতে তথ্যের টাইম ডিপেনডেন্সি (time dependency) ধরে রাখতে সক্ষম, যা তাদের জন্য ফরকাস্টিং এর মতো অ্যাপ্লিকেশনের জন্য অত্যন্ত কার্যকরী করে তোলে। চলুন, RNN এবং LSTM দিয়ে ফরকাস্টিং কীভাবে করা হয় তা আলোচনা করি।

১. Recurrent Neural Networks (RNNs)

RNNs হল এমন একটি নিউরাল নেটওয়ার্ক আর্কিটেকচার যা সিকোয়েন্সিয়াল ডেটার উপর কাজ করতে সক্ষম। RNN গুলি তাদের নিজস্ব আউটপুটকে ইনপুট হিসেবে পরবর্তী সময়ে ব্যবহার করে, যা টাইম সিরিজ ডেটার মধ্যে সময়ের উপর ভিত্তি করে সম্পর্ক বা প্যাটার্ন শিখতে সহায়ক।

RNN এর বৈশিষ্ট্য:

• টাইম ডিপেনডেন্সি: RNN টাইম সিরিজ ডেটার পূর্ববর্তী তথ্য থেকে ভবিষ্যতের তথ্য পূর্বাভাস দিতে সক্ষম।
• গণনা ক্ষমতা: এটি ইনপুট সিকোয়েন্সের সাথে তাদের সম্পর্ক ধারণ করতে পারলেও, দীর্ঘ সময়ের পরিসরের ডেটা প্রক্রিয়া করতে পারছে না (যেটি LSTM এর সুবিধা)।

RNN দিয়ে Forecasting:

RNN সাধারণত একটি সিকোয়েন্সের প্রতিটি সময় পয়েন্টের জন্য পূর্ববর্তী সময় পয়েন্টের আউটপুট ব্যবহার করে, কিন্তু দীর্ঘ সময়কালের ডিপেনডেন্সি ভালোভাবে শিখতে পারে না, যার কারণে দীর্ঘ সময়ের ফরকাস্টিংয়ে এটি সমস্যার সৃষ্টি করতে পারে।

RNN Model Example for Time Series Forecasting:

import torch
import torch.nn as nn
import numpy as np
import matplotlib.pyplot as plt

# RNN Class
class RNN_Model(nn.Module):
    def __init__(self, input_size, hidden_size, num_layers):
        super(RNN_Model, self).__init__()
        self.hidden_size = hidden_size
        self.num_layers = num_layers
        self.rnn = nn.RNN(input_size, hidden_size, num_layers, batch_first=True)
        self.fc = nn.Linear(hidden_size, 1)
        
    def forward(self, x):
        h0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size)
        out, _ = self.rnn(x, h0)
        out = self.fc(out[:, -1, :])  # Get last time step
        return out

# Example usage
input_size = 1
hidden_size = 64
num_layers = 2
model = RNN_Model(input_size, hidden_size, num_layers)

# Sample time series data
data = np.sin(np.linspace(0, 100, 1000))  # Sin wave as a sample time series

# Preparing data
x_train = torch.tensor(data[:-1]).view(-1, 1, 1).float()
y_train = torch.tensor(data[1:]).view(-1, 1).float()

# Train model (simplified)
output = model(x_train)

২. Long Short-Term Memory (LSTM)

LSTM হল RNN এর একটি উন্নত সংস্করণ যা দীর্ঘ সময়কালের ডিপেনডেন্সি বা সম্পর্ক শিখতে সক্ষম। LSTM এর মধ্যে মেমরি সেল থাকে যা দীর্ঘ সময়কালের জন্য তথ্য ধারণ করে, এবং গেট রয়েছে যা তার প্রবাহ নিয়ন্ত্রণ করে।

LSTM এর বৈশিষ্ট্য:

• Long-term Dependency: LSTM মডেল দীর্ঘ সময়কালের তথ্য স্মরণ করতে সক্ষম এবং তার মাধ্যমে টানলগ ডিপেনডেন্সি সমস্যার সমাধান করে।
• Gates Mechanism: LSTM গেটে Input Gate, Forget Gate, এবং Output Gate থাকে যা মডেলকে প্রাসঙ্গিক তথ্য মনে রাখতে এবং অপ্রয়োজনীয় তথ্য বাদ দিতে সাহায্য করে।

LSTM দিয়ে Forecasting:

LSTM টাইম সিরিজ ডেটার মধ্যে দীর্ঘমেয়াদি সম্পর্ক শিখতে সক্ষম, যা পূর্ববর্তী সময় পয়েন্টগুলির থেকে ভবিষ্যতের পূর্বাভাস তৈরি করতে সহায়ক।

LSTM Model Example for Time Series Forecasting:

class LSTM_Model(nn.Module):
    def __init__(self, input_size, hidden_size, num_layers):
        super(LSTM_Model, self).__init__()
        self.hidden_size = hidden_size
        self.num_layers = num_layers
        self.lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True)
        self.fc = nn.Linear(hidden_size, 1)
        
    def forward(self, x):
        h0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size)
        c0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size)
        out, _ = self.lstm(x, (h0, c0))
        out = self.fc(out[:, -1, :])  # Get last time step
        return out

# Example usage
input_size = 1
hidden_size = 64
num_layers = 2
model = LSTM_Model(input_size, hidden_size, num_layers)

# Sample time series data
data = np.sin(np.linspace(0, 100, 1000))  # Sin wave as a sample time series

# Preparing data
x_train = torch.tensor(data[:-1]).view(-1, 1, 1).float()
y_train = torch.tensor(data[1:]).view(-1, 1).float()

# Train model (simplified)
output = model(x_train)

৩. LSTM এবং RNN এর মধ্যে পার্থক্য

৪. Time Series Forecasting এর জন্য LSTM এবং RNN এর ব্যবহার

• RNNs সাধারনত ছোট সিকোয়েন্সের জন্য ভালো কাজ করে, যেখানে তথ্যের মধ্যে দীর্ঘ সময়ের ডিপেনডেন্সি থাকে না।
• LSTMs টাইম সিরিজ ডেটাতে যেখানে দীর্ঘ সময়কালের সম্পর্ক গুরুত্বপূর্ণ, যেমন স্টক মার্কেট প্রেডিকশন বা আবহাওয়া পূর্বাভাস, সেখানে বেশি কার্যকরী।

সারাংশ

RNN এবং LSTM দুইটি টাইম সিরিজ এবং সিকোয়েন্সিয়াল ডেটার জন্য জনপ্রিয় মডেল আর্কিটেকচার। RNN সহজ এবং দ্রুত ট্রেনিং করতে সক্ষম হলেও, এটি দীর্ঘ সময়কালের ডিপেনডেন্সি সমস্যা সমাধান করতে সক্ষম নয়। অন্যদিকে, LSTM দীর্ঘমেয়াদী সম্পর্ক শিখতে পারে এবং তাই টাইম সিরিজ ফরকাস্টিং এর জন্য আরো কার্যকরী।